Công xã nhân dân được sinh ra trong thời kỳ Đại nhảy vọt khi Mao Trạch Đông hình dung ra một tương lai là sẽ vượt qua Vương quốc Anh và Hoa Kỳ trong một thời gian ngắn về sản xuất gang thép. Mao cũng muốn điều động tập hợp nông dân để thực thi các dự án thủy lợi khổng lồ trong lúc nông nhàn vào mùa đông để gia tăng sản lượng nông nghiệp.

Mỗi công xã là một tập hợp các nông trại tập thể hóa nhỏ hơn tổng cộng có chừng 4.000-5.000 hộ gia đình, và các công xã lớn hơn có thể có đến 20.000 hộ gia đình.

Công xã nhân dân được hợp thức hóa như chính sách của chính phủ Trung Hoa năm 1958 sau khi Mao viếng thăm một công xã không chính thức tại Hà Nam.